Week 11 · Part III · 五範式 RPS 第三棒

W11 YOLO + Tracking(物件偵測 + 多目標追蹤)

從分類進到物件偵測(在哪 + 是什麼)。本週 RPS 升級成「框出每隻手 + 標 rock/scissors/paper」,還能跨幀追蹤同一隻手(支援雙手對戰)。Android 部署改走 Java TFLite API——這次是真嵌入式,不再透過 Chaquopy。

本週要做的事

順序內容預估時間
1Ch.1 課程定位:從 ML/DL 進到 SOTA 物件偵測10 min
2Ch.2 物件偵測演進:RCNN → YOLO20 min
3Ch.3 評估指標:IoU / mAP / NMS20 min
4Ch.4 YOLOv5 推論實作 (Colab)20 min
5Ch.5 訓練自訂 RPS 資料集30 min
6Ch.6 模型轉換 + 量化 (ONNX / TFLite + fp16)20 min
7Ch.7 Android Java TFLite 部署(主菜)40 min
8Ch.8-10 Tracking 觀念 + ByteTrack + Action Recognition30 min
9Ch.11 研究級對比 + 作業 + Benchmark 文化10 min

教材檔案

  • 📂 YOLO_Tracking.pptx (原始檔) 核心投影片
    86 張,11 章節。※ PPT 待轉 PDF 後可線上檢視
  • 共用模型 (shared/assets/models/):
    • yolov5s.pt — YOLOv5 預訓練(14.8 MB)
    • yolov5s-fp16-nms.tflite — Android 部署版,fp16 量化 + NMS 內建

物件偵測演進(RCNN → YOLO)

從「找哪裡有東西」變成「找 + 分類」一步完成:

  • R-CNN (2014):Selective Search 提 region + CNN 分類。慢
  • Fast R-CNN (2015):RoI Pooling 共用特徵。快一點
  • Faster R-CNN (2015):Region Proposal Network。再快
  • YOLO (2016):一刀切,直接 grid 預測。從 two-stage 變 one-stage
  • YOLOv5/v8/v11:工業界事實標準,容易訓練 + 部署

物件偵測的評估指標(W10 升級版)

IoU (Intersection over Union)

預測框與真實框的重疊面積 / 聯集面積。IoU > 0.5 才算「對」。

mAP (mean Average Precision)

不同 IoU 閾值下的平均 precision。業界標準,paper 必交。

NMS (Non-Maximum Suppression)

同一物件可能被預測多次,用 IoU 過濾保留最高信心那個。

FPS 與延遲

嵌入式系統的硬性指標 — 模型再強,跑不到 10 FPS 沒實用價值。

Android Java TFLite 部署 ⭐ 本週主菜

W10 路線 C/D 因為 tflite-runtime 沒 cp310 wheel,被迫走 Colab Local Runtime。本週跳過 Chaquopy,直接用 Java TFLite API(業界正解):

// Java 端
Interpreter tflite = new Interpreter(modelFile);
tflite.run(inputBuffer, outputBuffer);

關鍵工程坑

  • Input shape 不符:先用 interpreter.getInputTensor(0).shape() 確認
  • NMS 後處理:export 時加 nms=True,省 Java 端 NMS 邏輯
  • 推論慢:Interpreter.Options().setNumThreads(4) 或 GPU delegate
  • OOM:大模型 + Bitmap 雙重消耗,注意釋放 ImageProxy

Tracking 觀念與應用

偵測 = 每幀獨立找物件;追蹤 = 跨幀知道是同一個。應用:

  • 雙手對戰 RPS — 知道左手選了什麼、右手選了什麼
  • 運動分析 — 球員軌跡
  • 監視系統 — 追隨可疑人物
  • Action Recognition — 看一段軌跡判斷動作

現代 MOT (Multi-Object Tracking)

  • SORT (Bewley 2016):Kalman + Hungarian 匹配
  • DeepSORT (Wojke 2017):+ Re-ID 特徵
  • ByteTrack (Zhang 2022):每個 detection 都用,效果好且快

W11 作業

三件套:訓練 + 部署 + 比較。詳見作業頁。

  • YOLOv5 自訂 RPS 資料集訓練
  • 轉成 TFLite + Android Java 部署
  • 加入 ByteTrack 追蹤
  • 跟 W10 ML/DL 比較(mAP、FPS、模型大小)
  • 30 秒影片 + 簡易報告

查看完整作業頁 →

學生檢核表

  • 我理解 YOLO 為什麼比 R-CNN 快
  • 我能說明 IoU、mAP、NMS 各自在做什麼
  • 我會用 YOLOv5 訓練自訂資料集
  • 我會用 model.export(format='tflite', nms=True)
  • 我能在 Android 上跑 Java TFLite (不透過 Chaquopy)
  • 我理解 ByteTrack 的基本流程

下週預告 (W12)

第四種範式 — MediaPipe 骨架偵測:

  • Hands 21 點 landmark 直接給(免訓練)
  • 內部架構(palm detector + landmark estimator 兩階段)
  • 用彎曲度算法做 RPS
  • Action Recognition 從靜態到動態